魔珐（附案例）：做三维虚拟内容生产的“AI基础设施”，目标是全栈式服务平台|东西Plan

东西视角|Viewpoint

部分IP正选择用更直接的方式与大众展开互动，最典型的即是直播，经典的IP形象以及一些原生的虚拟形象，开始像真人主播一样，走进直播间，或带货或解说或进行秀场表演。

在618期间，淘宝、京东等都有尝试。

尽管和经典的IP形象相比，原生虚拟虚拟形象有其自己的商业规划路径和商业模型，但实际上在走向主播化方面，从长远大的变现逻辑来看，方向上会比较趋同于IP开发和商业化的逻辑（或有垂直维度上的空间）。

1.从IP开发和商业化的角度来看，至少对经典的IP形象来说，走向主播化有三点价值：

1） 是IP破圈的新场景。IP走向虚拟主播，等于又完成了一次破次元和场景的转化。在破次元和场景转化的过程中，一方面获得与受众更多互动的机会，加强沉浸感和粘性。另一方面，受直播形态的大众化普及，能说会道的虚拟主播，比”纸片人“或者其他垂直圈层的场景，在建立大众感知上会有优势。尽管以二次元为代表的文化消费多有成功破圈的表现，也有不少案例，但在次元空间里完成对IP形象想象的群体与大众群体相比还是少数。

从长远来看，这有助于提高IP破圈的概率，也有助于提升IP开发的效率。

2） 是IP延展变现或直接变现的方式。一旦IP形象走向虚拟主播展开直播，它就被赋予了真人偶像一样的商业属性，无论是延展性的变现，还是直接变现，它的收入就有了嵌入品牌合作与销售的收入的空间。

从长远来看，会给IP在变现层面带来多样化的拓展和机会。

3） 是IP打造的先导手段。目前已出现了把虚拟形象从虚拟主播层面进行孵化的方式，在这一方式上，如果从内容产品的逻辑来看，虚拟偶像先导出道的思路，虽然看起来比虚拟主播出道的思路更加具备可持续性，但受限于线下全息或者XR的演出无法施展，在秀场表演、解说、带货层面，阶段性表现形式实质并无差异（有差异主要取决于运营在内容生产能力），这种不够显性的差异，也推动了路线选择上更加务实的主播吸粉路线，这一点日本市场已经可以看到调整的趋势。

从长远来看，或有助于在面向某些特定消费群体层面，缩短IP打造的周期。

可以看到，整体上IP主播化的推进，落到IP概念本身，是对IP价值内在的优化和外在的提升。

2.技术的决定作用与技术路线的差异

在IP走向虚拟主播场景的过程中，技术起到了决定性的作用。结合目前现有的案例来看，主要问题有以下方面：

1）虚拟主播在直播时卡片感较重

很多IP形象虚拟主播化后，面部表情、眼神、身体动作、手指动作等基本还是保持了IP平面呈现的状态，整体放在直播间后与真人主播的适配感很低，卡片感重，单一品类的带货或可以维持，但多品类无法有所触及。

2）虚拟主播在直播时流畅度不够

即使有些形象做到了皮肤、面部表情、眼神、身体动作等较高的仿真度，但在进行直播过程中，常常出现话对不上脸，动作卡顿延迟等较为严重的时滞现象。

3）虚拟主播在直播时交互度很低

主播进行的直播行为本身需要较高频次的交互，比如与嘉宾连麦对话、回答弹幕、评论问题、现场抽奖等，这对虚拟主播内嵌的技术支持模块提出了智能化的高要求。现阶段有些形象借助中之人的方式，仿真度和流畅度尚可，但整体来看交互性极差，只能进行重复性的表达。

对上述三个问题的解决也呈现出了典型的技术层面几种不同的技术定位的公司。

以仿真为出发点，出现了几家代表性的公司，这类公司的着力点不局限于偏娱乐向的IP形象打造，而是着力于虚拟人更大的赛道，进行功能型比如导购、虚拟服务员的打造。

从场景的层面，出现了专门进行虚拟IP形象直播、虚拟偶像线上表演的技术服务型公司，这类公司有典型的流程化的特点，经过VR\AR等表演娱乐形态的积累，有一定的经验。

从交互的维度，由于交互形态的应用，实际上和内容策划、人设规划和现场运营高度相关，所以，相比仿真路线和秀场服务路线，交互对公司的服务能力有更为综合的要求，这类公司往往结合了影视动画CG技术、有一定的仿真技术层面的积累，同时在虚拟IP形象的中之人操作方面有实际的运营经验，可以解决交互的问题。另外，品牌广告资源的积累会是加分项。

但无论是何种技术路线，AI都会是上述技术路线的天花板(参考阿里达摩院的方向），因为一个虚拟IP主播化后，在向真人靠拢的过程中，甚至最终走向智能人，会需要大量自动化学习的积累和算法的修正。

从一定程度上，当前IP虚拟主播化仍处于早期，此前618或许能够带动一批IP概念的虚拟主播初次走入大众的认知范畴，但在常态化直播、提升直播的用户粘性和转化上，仍有很长的路要走。

当前来看，在大的平台未形成技术垄断前，能够实现虚拟形象批量化制造，有自有技术支持，成本可控且可尽量减少分包环节的公司，从后续来看，或有高溢价的能力，并在下一阶段平台型的竞争阶段，有一定的优势。

以上为东西研究team阶段性看法，批评和建议欢迎联系文末Eason

赛道|company

魔珐科技概况与路线

1.魔珐科技介绍（官方资料）

魔珐科技是一家将计算机视觉和计算机图形学技术进行创新应用的人工智能科技公司，成立于2017年10月，并于2019年6月获得来自红杉资本中国、晨兴资本、头头是道基金等资方的数亿元A 轮融资。

公司推出全栈式端到端的原创AI表演动画解决方案，致力于打造虚拟数字人基础设施，在三维虚拟内容的智能化制作（包括影视动画、游戏、虚拟短视频、虚拟综艺等）, 虚拟直播和虚拟IP线下实时互动，以及全智能多模态虚拟数字人领域展开了广泛的布局。

魔珐科技创始人柴金祥，为美国卡耐基梅隆大学的博士、美国工科名校TAMU终身教授与博士生导师，从2000年就开始涉足三维视觉感知、三维视觉合成和人工智能领域，是最早利用表演捕捉技术和人工智能技术制作动画和虚拟数字人的科学家之一。

2.魔珐现阶段的技术范围与长期定位

魔珐科技的虚拟直播技术，可在各种虚拟人打造过程中实现场景的落地应用，帮助虚拟人通过多维度全新的虚拟内容形态展示自己的人格、技能和价值观。

魔珐目前对外公开的全部应用技术包括：

1）智能建模/智能绑定技术：魔珐科技能够实现虚拟IP三维模型智能建模和绑定，提升建模和绑定的效率和质量。

2）实时动画生成/实时解算/实时AI变声/实时特效：基于魔珐科技原创的AI技术，实现高质量虚拟直播效果。

全栈式端到端AI表演动画技术：通过演员表演实时捕捉演员的三维面部表情、眼神、身体动作、手指动作，并通过AI表情迁移技术和AI运动重定向技术实时驱动3D虚拟角色，生成高质量实时表演动画效果。

预制动画和实时动画拼接技术：通过创建预制动画库，突破真人的技能，极大增强了虚拟人直播技能，同时通过实时动画拼接技术实现预制动画和实时动画的无缝切换。

3）实时解算和渲染技术 

实时解算：实时虚拟人毛发和衣服的物理解算，极大增强了虚拟人的动画输出效果。

实时渲染：采用实时渲染技术，能够实现虚拟数字人和场景的高质量实时渲染效果。

4）实时基于文本的动画和语音生成技术

基于文本输入，实时自动生成各类三维虚拟角色，包括超写实虚拟角色、卡通美型、二次元，的高质量语音和动画数据；也可以基于实时语音输入，全智能自动生成高质量角色动画。

长期定位来看，魔珐希望通过智能化、标准化、工业化的方式急剧提升虚拟内容生产的效率、质量和产能，同时解锁高频次、社交化的虚拟短内容形态（比如虚拟直播、虚拟短视频等），成为虚拟内容生产的AI基础设施。

在虚拟人赛道，尤其是IP虚拟人层面的布局，魔珐希望利用独特的AI技术和美术能力孵化和打造各个垂直赛道虚拟IP，赋能工业化虚拟IP的打造和运营。同时，魔珐也在积极开发UGC的虚拟内容生产工具，尝试将自身升级为具备全栈式服务能力的平台型公司。

魔珐部分项目合集（可考虑在WIFI环境下点击）

模式|案例

魔珐：灵狐直播、齐麟直播

魔珐科技近期尝试了几场虚拟IP的现场直播，包括热门游戏《穿越火线》中的虚拟角色灵狐直播、漫画《今天的她也是如此可爱》中的虚拟角色齐麟直播、《全职高手》主角叶修直播、《跑跑卡丁车》中的卡通人物皮蛋和宝宝直播等。在此，选取灵狐直播和齐麟直播作为案例介绍。相关数据均由魔珐科技官方提供。

灵狐直播：游戏IP虚拟主播化提升商业价值

1.背景介绍

在运营过程中，游戏运营商会经常有老玩家回流、新玩家拉新、新活动促销等一系列需求。品牌需要结合当下流行内容形态（直播和短视频）来不断拉新促活，与更多游戏潜在玩家在更多场景、更多空间内进行互动。另外，通过虚拟直播，游戏公司可以把各类游戏角色破圈打造虚拟偶像，产生新的商业模式。

2.成品描述

《穿越火线》与Xmov魔珐科技合作实现灵狐的虚拟直播，以产生更大的IP价值和实现全新的商业变现路径。到目前为止，灵狐虚拟直播共上线四场，后续将上线更多的直播互动。

第一场为CF端游纯虚拟人的直播；第二场为CF手游的跨次元AR直播，实现了虚拟人和真人的实时同框互动；第三场灵狐空降现实中的网吧与主播连线分享网吧特权；第四场灵狐亮相2020年腾讯游戏年度发布会。

3.数据表现

第一场直播，斗鱼、虎牙、快手、企鹅电竞四大游戏直播平台超千万PV的曝光量；在后续的运营中，由直播剪辑成的短视频素材相继在B站、快手、抖音等短视频平台进行二次传播扩散。

第二场直播，邀请斗鱼、虎牙、企鹅电竞的头部CFM主播街寂、潇逸、战舞和蛮蛮与灵狐实时同框互动，在各自直播间分别达到平台类目热度TOP1。

第三场直播，灵狐姐与三位人气主播年鹏、梧桐和鹿小町一起，分享新版本内容和特权福利，并与线下玩家匹配互动、在枪林弹雨的战场中并肩作战。

第四场直播，灵狐姐在2020年腾讯游戏年度发布会中进行直播亮相，为观众们解读发布会内容，并带来许多第一手情报，玩家反响热烈。

4.合作形式

腾讯提供内容策划，魔珐科技负责灵狐直播所有其他服务，包括：分镜策划、三维场景制作、虚拟IP三维模型的建模和绑定制作以及优化、预设动画拍摄制作以及和实时表演动画无缝衔接、特效制作、场景灯光、声优筛选、虚拟相机拍摄、实时AI表演动画以及直播系统的搭建、音控、推流、排练、抽奖操作等，覆盖虚拟直播所需要的全案流程，端对端提供高质量的虚拟直播服务。

5.开发周期

第一场直播准备周期为3-4周，主要是进行虚拟主播三维角色模型创建和绑定、AI动画训练数据的制作、预制动画制作、场景制作、特效制作、互动测试等，后续除了新场景、新发型或者新服装、新特效等制作，再次直播仅需要彩排新流程即可直接上线。

齐麟直播：漫画IP虚拟主播加速IP孵化

1.齐麟介绍

齐麟是由知名漫画家郭斯特创作的连载漫画《今天的她也是如此可爱》的女主角，作者在微博上有超过1600万粉丝。

当前，《今天的她也是如此可爱》漫画在快看漫画连载半年，已经获得超过500万人次的点赞与超过20亿阅读人气值。根据齐麟的形象，魔珐科技与有狐文化合作以齐麟的形象制作虚拟主播。

考虑到漫画人物进行短视频和直播创作是行业领域的全新尝试，同时能够帮助漫画角色在创作初期即可强化粉丝互动，提升角色知名度，魔珐科技与有狐文化合作打通了这次直播全流程。

同时，由于漫画IP角色目前的变现路径比较长，增强粉丝粘性的方式也比较有限，基于此，魔珐科技联合有狐就齐麟这个角色首次进行漫画IP的社交化、互动化的尝试。

漫画角色在电商平台探索直播带货等新型变现模式，并结合高频次、轻量级的短内容进行快速发酵和粉丝触达，在内容构造上则融入最新热点，快速提升社交化、互动化的属性。

2.成品描述

基于魔珐科技在虚拟直播方面的经验，魔珐科技在与有狐文化进行环节策划和设计上实现了超出预期的效果。比如项目团队充分了解作品熟悉人设，在虚拟直播过程中加入了“你画我猜”这种互动性的创意。

3.数据表现

齐麟作为还未破圈的虚拟角色，在首次直播中进行冷启动，便获得30w+的点赞量，互动频率高达4万多次，粉丝停留时长达到61分钟。此外，本项目首次直播已融入招商环节。

4.合作形式

合作形式在两次直播合作过程中，由合作方有狐文化提供脚本创意、商品、奖品，淘宝后台操控完成货品上架及抽奖等设置，此外获取一定的平台资源支持，由双方共同完成声优筛选，直播环节完善，彩排等，魔珐科技完成了剩余的直播全流程工作。

具体包括：三维场景制作、虚拟IP三维模型的模型优化和绑定制作，预设动画拍摄制作以及和实时表演动画无缝衔接、特效制作、场景灯光、实时AI表演动画以及直播系统的搭建、音控、推流等一系列工作，覆盖了虚拟直播所需要的全案流程，端对端为合作伙伴提供了高质量的虚拟直播服务。

6.开发周期

首次直播准备周期3-4周，主要是进行虚拟主播三维模型创建和绑定、AI动画训练数据制作、预制动画制作、场景制作、特效制作、互动测试等，后续除了新场景、新发型或者新服装、新特效等制作，再次直播仅需要彩排新流程即可直接上线。

价值|认知

魔珐团队部分访谈

 1.潜力空间

EW：将IP角色打造成直播向的虚拟偶像/产品，在商业化上有多大空间？商业模式的可持续发展性体现在哪里？

魔珐：传统的虚拟IP的打造以影视动画、游戏等长内容为主，虚拟直播、虚拟短视频属于高频次、社交化的短内容，其市场还处于早期的蓝海探索阶段，很难直接估算出它的商业空间。不过，我们可以用现实世界的影视剧长内容、短视频和直播市场进行对比。中国影视剧长内容市场差不多千亿规模，而短视频和直播市场都是万亿级的市场，而虚拟人相比真人能够做的事情更是充满了无限可能，其中虚拟长内容行业，包括影视动画和游戏，在中国有3、4千亿的市场。因此我们有理由相信虚拟直播和虚拟短视频市场以及商业价值至少也是千亿规模。现在直播和短视频市场已经出现了直播+X，短视频+X，我们有理由相信虚拟赛道也会出现虚拟KOL+X, 虚拟直播+X，虚拟短视频+X，虚拟IP+X。

从可持续发展性来讲，由于虚拟IP本身就具有可持续性，其不会变老、人设不会崩塌、可24x7小时不受空间时间限制的工作，所以可控性更高，更为持久，具有长期投资价值；同时，虚拟IP或者KOL可以与各类垂直行业结合，打造出各行各业的虚拟IP，有利于商业模式的可持续发展。

EW：魔珐科技在虚拟数字人IP中，能发挥怎样的角色，获得什么价值？

魔珐：对于虚拟IP来说，其完整的产业链包含虚拟IP人设和内容策划、内容生产、内容运营, 以及商业变现。其中，人设和内容策划以及内容的运营，和现实世界内容的策划和运营没有特别大的区别。我们认为虚拟IP打造和运营最大的挑战是内容生产，因为虚拟IP或者虚拟角色在现实世界中并不存在，它不能像现实世界中的演员或者KOL一样，可以通过演员表演和摄像机拍摄直接生成所需要的内容, 如图片、短视频、直播、TVC、综艺等；另外，真人世界的明星在接了商业通告之后，自己进行表演拍摄就可以产生相应内容进行商业变现。而虚拟IP的商业变现，同样需要建立在高质量的虚拟内容制作能力的基础上。魔珐希望通过智能化、标准化、工业化、平台化的方式解决虚拟内容生产这个痛点问题，赋能整个虚拟世界的内容生产和虚拟IP的打造和运营。

目前魔珐重点采取两种方式赋能行业:

第一类是为虚拟IP打造和运营提供全方位的虚拟内容（智能化）制作服务，包括动画长视频、游戏、虚拟图片、虚拟短视频、虚拟直播、虚拟IP线下实时互动等。我们服务的腾讯CF的虚拟形象代言人灵狐、腾讯QQ炫舞的虚拟偶像星瞳、阅文的知名虚拟IP叶修等就是属于这一类。

第二类属于虚拟IP的孵化、打造和运营。魔珐不仅仅为虚拟IP的内容生产提供全栈式的服务，同时也会把独特的技术、产品能力与合作伙伴的策划和运营能力结合，一起进行原创虚拟IP的打造和运营。我们最近推出的原创虚拟KOL“翎Ling”，以及即将推出电商垂类虚拟KOL“妲己”就是属于这种模式。

和次世文化合力打造的原创虚拟KOL“翎Ling”

魔珐今天的技术和服务在市场上有一定的优势，因为我们不仅具有高质量、高效率、全栈式的虚拟内容生产能力，还具有行业极度稀缺的技术（比如超写实虚拟形象智能建模和绑定技术，高质量、全栈式的虚拟短视频和虚拟直播技术），这帮助魔珐构建了竞争壁垒。

EW：和其他技术型公司相比，魔珐的竞争优势是什么?

魔珐：和其他技术公司相比，魔法核心能力是技术、算法和美术，以及综合的工程和产品能力。

一是技术的深度和广度。魔珐拥有原创研发技术, 不仅仅是单点技术，它涉及到虚拟内容生产和虚拟IP打造的各个环节。比如，我们的AI表演动画技术牵涉到人脸表情、眼神、身体动作、手势的三维实时建模和高质量捕捉，以及实时AI表情迁移和身体运动重定向等6项核心技术，是全球极少数拥有这全部6项核心技术的公司之一。另外，虚拟形象的创建，魔珐拥有全球领先的智能建模和绑定技术，这使得我们有能力为虚拟形象创建提供高质量、高效率的产能。我们的端对端虚拟直播技术，使得虚拟形象能够高质量、生动自然地与观众进行线上直播和线下互动。我们还拥有全球领先的全智能基于文本实时生成语音和动画技术，这使得我们能够打造出全智能多模态虚拟数字人，把虚拟数字人带到各行各业，为各个垂直行业提供24*7视频化的信息服务。这些技术和产品的研发，不仅仅需要技术的广度，涉及三维视觉感知、三维视觉合成、语音感知和合成这三个完全不同的AI领域，更需要技术的深度，因为很多技术需要从0到1的研发能力，而魔珐在这些技术领域都有原创的能力和独特的优势。

二是美术能力。虚拟内容生产以及虚拟IP的打造不仅需要技术，还需要很强的美术能力，更需要技术与美术的无缝结合。魔珐具备全流程的美术能力，包括原画、模型、绑定、动画、特效、渲染灯光等，我们很多研发都是技术和美术团队一起肩并肩完成的。

三是产品和工程能力。我们团队中的很多人在互联网产品方面拥有很资深的经验，产品和工程能力都很强。比如，我们正在把虚拟直播服务进行产品化和标准化，使得每一个策划和运营团队都可以基于这个虚拟直播产品打造和运营他们自己的虚拟IP。此类产品不仅仅需要很强的技术和美术能力，还需要强有力的工程和产品能力做支撑，才能真正地赋能行业，应用落地。

四是服务的广度。魔珐为虚拟IP的打造提供了全方位的虚拟内容生产能力，从影视动画、游戏等长内容形态，到虚拟短视频、虚拟直播、虚拟IP线下实时互动等新内容形态，再到全智能多模态虚拟数字人，应用场景覆盖各个垂直领域。魔珐希望成为虚拟内容行业和虚拟数字人行业的基础设施。

2.可优化的空间

EW：之前访谈有提到魔珐建构虚拟世界，虚拟+X, 赋能“虚拟+X”的商业模式当前面临哪些挑战？怎样解决这些问题？

魔珐：虚拟内容+X涉及传统虚拟内容形态，比如影视动画和游戏，也涉及到虚拟短视频、虚拟直播、虚拟综艺等全新的虚拟内容形态。在过去，虚拟IP或者虚拟人,主要生活在封闭的虚拟世界，比如在影视动画中或者游戏中。接下来她们会走出虚拟世界，走到各行各业中来，比如虚拟KOL+X, 虚拟老师，虚拟心理医生，虚拟主持人等等。

我们觉得挑战主要是来自于两点。一是技术和产品不断成熟，使得我们能够高质量、高效率地生产各类三维虚拟内容，同时也能够在虚拟世界高效地创造各类虚拟数字人，这就是我们所说的虚拟+X的基础设施搭建。有了这个基础，内容策划和运营者才能发挥他们的才能，创作各类虚拟内容，打造各类虚拟IP。二是技术和产品走向市场，真正和行业结合，形成商业闭环，给行业带来真正的价值。

这两个事情需要全行业的人一起协作努力。对于魔珐来说，一方面，我们在智能化、标准化、工业化各类虚拟内容生成管线；另一方面，我们和行业伙伴一起，探索虚拟+X在各类垂直赛道落地。我们正在和垂直赛道的合作伙伴协作，一起打造8-10位原创的虚拟KOL，包括时尚、电竞、电商、漫画IP破圈打造虚拟偶像等。

EW: 魔珐从哪些方面提升公司技术应用和整合行业能力？

魔珐: 我们拿虚拟直播举例。虚拟直播要想成为下一个主流的虚拟内容形态，必须要有支撑虚拟直播的基础设施，让每一个用户，不论是专业客户或者普通用户，进行高质量虚拟直播内容创作和运营。我们在虚拟直播上正在做以下的尝试：

一是持续优化我们端对端虚拟直播的方案，提升我们的技术和产品力。比如我们正在研发的人工智能变声技术，可以使得任何中之人的声音实时转换成某一个特定声优的声音，这可以极大降低虚拟IP对于声优演员的依赖。我们也在创建虚拟直播技能库，特效库，研发虚拟直播后台软件管理系统，以及无缝结合虚拟人和真人进行AR同框实时互动直播的技术等，这可以极大提升虚拟直播的体验。我们希望为行业头部虚拟IP提供一站式服务，在虚拟直播行业树立标杆头部案例，让更多的人看到虚拟直播的体验、效果和商业价值。

二是产品化。我们现在提供端对端的全栈式虚拟直播服务，属于高端虚拟直播产品和服务。对于某些PGC或者PUGC的虚拟直播客户来说，他们可能更希望我们可以提供一个标准化虚拟直播软硬件解决方案或者产品，如同真人直播的基础设施一样，客户自己可以方便地进行内容策划、制作和运营。我们现在正在打造的虚拟直播BOX就是这样一款标准化软硬件产品，它可以让每一个垂直赛道的合作伙伴都能够高频次、高质量地进行虚拟直播策划、生产和运营。

三是UGC化。虚拟直播行业成熟，不仅仅需要PGC和PUGC的虚拟直播，还需要UGC的虚拟直播内容来繁荣整个市场，这就需要虚拟直播这个产品门槛够低，也就是说在保障一定直播效果的情况下，成本可控、简单易用。我们正在打造地基于单个摄像头虚拟直播产品，希望能够赋能广大UGC用户群体，让每一个普通用户都能做虚拟直播。

四是适配VR/AR。不同于真人直播，虚拟直播可以无缝和VR/AR对接，为VR/AR提供高质量的三维虚拟直播产品。用户只需带上头盔，就可以在VR/AR中身临其境地观看虚拟直播。这中内容形态，也会为虚拟主播和用户的互动带来全新的方式。所以，我们也在研发虚拟直播和VR/AR结合的产品和服务。

✉联系我们（8 hours内回复）

媒体相关联系：[e-mail]

研究相关联系：[e-mail]

简历投递联系：[e-mail]

✉建议或探讨